EnterpriseVal: Quantifying the Efficacy, Reliability and Value of Generative AI in the Enterprise
企业生成式 AI 功效、可靠性与价值量化评估系统
🧭 企业 GenAI 用例级评估与门控
提出企业级 GenAI 用例评估系统，融合度量目录、校准 LLM-as-judge、阈值门与价值风险模型，并在银行试点验证
📌 工作参考价值（4 点）
- 可借鉴其用例级评估门控：把度量向量（保真度、效用、效率、可靠性、保证、监督）和置信区间映射到 REJECT/CONDITIONAL/SCALE，适合电商推荐中 LLM 生成文案、推荐理由或 Agent 流程的灰盒评估。
- 用 prediction-powered inference 校准 LLM-as-judge 评分，降低人工盲评成本，同时保证统计可靠性；可直接用于商品文案改写、搜索摘要等生成模块的持续质量监控。
- 按 autonomy level（自动化程度）与 consequence tier（后果等级）设定评估强度，为不同风险场景（如支付、金融推荐）分级投入评估资源，避免过度或不足测试。
- 价值风险模型中把 reviewer catch rate 作为可测参数，量化人审在环路中的检出率与成本，有助于计算生成式推荐/Agent 项目的实际 ROI 和扩量决策。